Transporte de luz transitorio en medios participativos

La simulación del transporte de luz en una escena mediante un ordenador es conocido como renderizado. Simular las interacciones físicas de la luz con la materia es una de las tareas más desafiantes en la informática gráfica. Medios participativos cotidianos como la niebla o la piel, interaccionan con la luz produciendo efectos muy interesantes. Para renderizar el transporte de luz en una escena según las propiedades de la materia, es necesario basarse en los modelos físicos que las definen, conllevando el uso de costosos algoritmos que los aproximan. El estudio del transporte de luz es un elemento clave a la hora de mejorar los algoritmos existentes. Los recientes avances en captura ultrarrápida de imágenes nos permiten observar luz en movimiento a escalas macroscópicas, permitiéndonos ver cómo se propaga e interacciona con la materia y dando lugar a numerosas aplicaciones. Esto demuestra que existe información de utilidad en el dominio temporal que hasta ahora no se había tenido en cuenta. En el campo del render, esta información temporal normalmente es descartada, asumiendo que la luz tiene velocidad infinita, y produciendo imágenes en las que la luz está propagada por toda la escena. Romper esta asunción y considerar la velocidad de la luz finita implica la definición de un modelo de transporte de luz transitorio, es decir, teniendo en cuenta el tiempo de propagación de la luz. Este proyecto se centra en renderizar el transporte de luz transitorio tanto en el vacío como en medios participativos, incluyendo el tiempo en los modelos tradicionales de transporte de luz. Para ello se ha implementado uno de los últimos avances en render de medios participativos, el algoritmo Photon Beams, y se ha modificado para incluir el tiempo de propagación de la luz considerando los efectos que tiene la inclusión del tiempo en las propiedades de los medios. Analizar el transporte de luz transitorio aumenta la complejidad del render, dado que estamos añadiendo una dimensión más al problema. Reducir la dimensionalidad de un problema es una estrategia apropiada para analizarlo, ya que simplifica los modelos matemáticos, reduce los costes de cálculo y permite representar la información de manera más intuitiva. Aplicado al transporte de luz, reducir la dimensionalidad espacial a 2D requiere reconsiderar su formulación. En este proyecto redefinimos las propiedades de los medios participativos para el transporte de luz en 2D y realizamos una adaptación 2D del algoritmo Photon Beams. Basados en este enfoque, analizamos el transporte de luz en el tiempo variando las características de los medios y observando los perfiles temporales de la propagación de la luz dentro de medios participativos. Estos análisis nos han permitido detectar limitaciones sobre algoritmos ya existentes, así como observar las desventajas de las técnicas de muestreo utilizadas en los algoritmos estacionario cuando intentamos aplicarlas al transporte de luz transitorio. Finalmente hemos podido comprobar cómo los distintos sistemas de representación y las propiedades de los medios afectan a cómo interpretamos el transporte de luz en una escena. Este trabajo se ha realizado dentro de un proyecto de investigación en el Graphics and Imaging Lab y en colaboración con Wojciech Jarosz, investigador jefe del grupo de rendering en Disney Research, Zürich. Los resultados de este proyecto serán sometidos a la conferencia internacional SIGGRAPH 2014. Adicionalmente resultados previos de este trabajo se presentaron en la Congreso Español de Informática Gráfica 2013

Efficient Methods for Computational Light Transport

En esta tesis presentamos contribuciones sobre distintos retos computacionales relacionados con transporte de luz. Los algoritmos que utilizan información sobre el transporte de luz están presentes en muchas aplicaciones de hoy en día, desde la generación de efectos visuales, a la detección de objetos en tiempo real. La luz es una valiosa fuente de información que nos permite entender y representar nuestro entorno, pero obtener y procesar esta información presenta muchos desafíos debido a la complejidad de las interacciones entre la luz y la materia. Esta tesis aporta contribuciones en este tema desde dos puntos de vista diferentes: algoritmos en estado estacionario, en los que se asume que la velocidad de la luz es infinita; y algoritmos en estado transitorio, que tratan la luz no solo en el dominio espacial, sino también en el temporal. Nuestras contribuciones en algoritmos estacionarios abordan problemas tanto en renderizado offline como en tiempo real. Nos enfocamos en la reducción de varianza para métodos offline,proponiendo un nuevo método para renderizado eficiente de medios participativos. En renderizado en tiempo real, abordamos las limitacionesde consumo de batería en dispositivos móviles proponiendo un sistema de renderizado que incrementa la eficiencia energética en aplicaciones gráficas en tiempo real. En el transporte de luz transitorio, formalizamos la simulación de este tipo transporte en este nuevo dominio, y presentamos nuevos algoritmos y métodos para muestreo eficiente para render transitorio. Finalmente, demostramos la utilidad de generar datos en este dominio, presentando un nuevo método para corregir interferencia multi-caminos en camaras Timeof- Flight, un problema patológico en el procesamiento de imágenes transitorias.n this thesis we present contributions to different challenges of computational light transport. Light transport algorithms are present in many modern applications, from image generation for visual effects to real-time object detection. Light is a rich source of information that allows us to understand and represent our surroundings, but obtaining and processing this information presents many challenges due to its complex interactions with matter. This thesis provides advances in this subject from two different perspectives: steady-state algorithms, where the speed of light is assumed infinite, and transient-state algorithms, which deal with light as it travels not only through space but also time. Our steady-state contributions address problems in both offline and real-time rendering. We target variance reduction in offline rendering by proposing a new efficient method for participating media rendering. In real-time rendering, we target energy constraints of mobile devices by proposing a power-efficient rendering framework for real-time graphics applications. In transient-state we first formalize light transport simulation under this domain, and present new efficient sampling methods and algorithms for transient rendering. We finally demonstrate the potential of simulated data to correct multipath interference in Time-of-Flight cameras, one of the pathological problems in transient imaging.<br /

Un enfoque de aprendizaje automático para la reconstrucción de imágenes transitorias

The recent advances in non-line-of-sight imaging have made it possible to reconstruct scenes hidden around a corner, with potential applications in e.g. autonomous driving or medical imaging. By operating at frame rates comparable to the speed of light, recent virtual-wave propagation methods leverage the temporal footprint of indirect light transport at a visible auxiliary surface to take virtual photos of objects hidden from the observer. Despite these advances, these methods have a critical computational bottleneck: The reconstruction quality and the computational performance are highly dependent on the resolution of the capture grid, which is typically discretized in space and time, leading to high processing and memory constraints. Inspired by recent machine learning techniques, in this work we propose a new computational imaging method to address these limitations. For this purpose we propose to learn implicit representations of the captured data using neural networks, allowing us to convert the discrete space of the captured data into a continuous one. However, working directly with the captured data is a complex task due to its huge size and its high dynamic range values. In order to avoid these problems, we leverage recent wave-based phasor-field imaging methods to transform the time-resolved captured data into sets of 2D complex-valued fields (i.e. phasor fields) at different frequencies, which provides a more favorable representation for machine learning methods. nder our implicit representation formulation, we analyze the performance of different neural network models to represent the complex structure of phasor fields, starting from simpler representations, and iteratively providing more powerful models to add support for the complexity of the data. We demonstrate how recent machine learning techniques based on multilayer perceptrons with sine activation functions are capable of representing phasor fields analytically in both spatial and temporal frequency domains, and integrate them into the phasor-field framework to reconstruct hidden geometry. We finally test this neural model in different scenes, and measure its performance at higher resolutions not seen by the captured data. We show how the model is able to analytically upsample all dimensions, and demonstrate how our implicit representation additionally works as a denoiser of the source discretized phasor field.<br /

Integración de un sistema de aprendizaje automático en un motor de renderizado

El renderizado o generación de imágenes sintéticas basado en físicas es un campo de la informática gráfica muy complejo que requiere simular el transporte de luz y sus interacciones con medios y geometrías. Este proceso es muy costoso de realizar para la obtención de imágenes de alta calidad por lo que existe una fuerte investigación en nuevos o mejores métodos de generarlas. El uso de técnicas de aprendizaje autmático basadas en redes neuronales ha demostrado gran potencial en investigación aplicada al renderizado. Sin embargo su uso no es trivial ya que las distintas librerías que las desarrollan son ajenas a los sistemas de render y no están preparadas para hacer un uso conjunto.En este proyecto se presenta un nuevo sistema diseñado y desarrollado con el fin de facilitar el uso de librerías de redes neuronales dentro de un motor de renderizado. Para ello se realiza un estudio de las características de los renderizadores más utilizados actualmente en investigación junto con otro sobre las librerías de aprendizaje automático de uso más extendido. Escogiendo finalmente el renderizador Mitsuba y la librería de aprendizaje automático LibTorch se realiza un análisis de sus flujos de ejecución, culminando en el diseño e implementación de una arquitectura que integra LibTorch en Mitsuba. El sistema propuesto es validado mediante la reproducción de un artículo de reducción de varianza en renderizado desarrollado por Disney para la aplicación en sus películas de animación. Finalmente sobre el artículo se propone e implementa una variación aplicando el método a imágenes con medios participativos.<br /

Reconstrucción de transporte de luz transitorio en escenas ocultas.

La imagen computacional es un conjunto de técnicas digitales que permiten formar imágenes a partir de medidas de sensores de distintos tipos, en contraste a los procesos ópticos que generan las imágenes en una cámara tradicional, y sustituyen o incrementan las capacidades de algunos procesos ópticos. Uno de los avances recientes más espectaculares tiene que ver con cámaras computacionales ultrarrápidas, que permiten capturar el transporte de luz en la escena a lo largo del tiempo. Una de las nuevas aplicaciones que han surgido a raíz de estas cámaras es la de ser capaz de ver objetos ocultos alrededor de esquinas, dentro del campo conocido generalmente como non-line-of-sight (NLOS) imaging. Para ello es necesario analizar la luz indirecta que se refleja sobre objetos visibles, y a partir de ella reconstruir computacionalmente la escena oculta. Esto puede dar lugar a muchas aplicaciones prácticas como evitar colisiones entre vehículos, o visualizar regiones de difícil acceso. Sin embargo, la mayoría de los algoritmos existentes se limitan a recuperar la geometría de la escena oculta, descartando la información temporal del transporte de luz. Si pudiéramos recuperar esta información en un entorno de NLOS, podríamos por ejemplo analizar de qué materiales son los objetos de la escena oculta, o ver incluso alrededor de dos esquinas. El objetivo de este trabajo es desarrollar un método para reconstruir el transporte de luz transitorio en escenas ocultas, y analizar el comportamiento de distintas funciones de filtrado de cara a potenciales aplicaciones novedosas de análisis de escenas ocultas. En concreto, primero se ha implementado el algoritmo clásico de reconstrucción de escenas ocultas, backprojection filtrado, que estima la posición de los objetos ocultos triangulando a partir del tiempo de propagación de la luz. A continuación se ha extendido dicho algoritmo para obtener uno nuevo, al que llamamos backprojection filtrado resuelto en tiempo, que proporciona información sobre el transporte de la luz en la escena oculta a lo largo del tiempo. Se ha analizado el efecto de distintas técnicas de filtrado sobre ambos algoritmos y la información que proporciona la reconstrucción obtenida por el nuevo algoritmo en distintas escenas con variaciones de material, rango, y complejidad. Se espera que este segundo algoritmo sea utilizado en futuras investigaciones sobre NLOS.<br /

Dataset para la evaluación de métodos de reconstrucción de apariencia en situaciones sin línea de visión.

Time-resolved imaging has made it possible to look around corners by exploiting information from indirect light bounces. While there have been successive improvements in the field since its conception, so far it has only been proven to work in very simple and controlled scenarios. We present a public dataset of synthetic time-resolved Non-Line-of-Sight (NLOS) scenes with varied complexity aimed at benchmarking reconstructions. It includes scenes that are common in the real world but remain a challenge for NLOS reconstruction methods due to the ambiguous nature of higher-order diffuse bounces naturally occurring in them. With over 300 reconstructible scenes, the dataset contains an order of magnitude more scenes than what is available currently. The final objective of the dataset it to boost NLOS research to take it closer to its real-world applications